异步流图语言模型（aFMLMs）
🧭 并行语言模型 · 异步流图
KAIST · Purdue University · The University of Tokyo
将 token 预测顺序通过异步流图编码进单步并行语言模型，实现高质量一步生成
📌 工作参考价值（4 点）
- 延迟敏感场景（如搜索结果摘要、推荐理由、广告文案）可借鉴 aFMLM 将教师迭代生成的顺序知识蒸馏到单步学生模型，保持生成质量的同时把推理从多步降到一步，显著降低 RT。
- 学习 state-adaptive 的 token 时间调度可作为一种隐式排序机制：模型根据上下文决定哪些 token 先“成熟”，适合需要动态优先级生成的推荐解释或对话式推荐。
- 蒸馏流程可复用到生成式推荐中的 Semantic ID 序列生成：用教师模型（AR 或扩散）生成顺序信号，训练单步模型快速输出 item ID 序列，降低线上生成延迟。
- 该方法在 Sudoku 和代码生成等结构化推理任务上有效，提示在需要约束生成的任务（如商品标题、属性组合生成）中，显式建模 token 顺序可能比纯并行生成更优。
跨 item 与 code 空间的并行生成式推荐知识蒸馏
🧭 生成式推荐 · 知识蒸馏跨 item/code 空间 ★ 深度解读
The Hong Kong University of Science and Technology · University of Science and Technology of China
用 item 空间分布匹配和 code 边际匹配两个蒸馏目标，把序列模型的软分布迁移到并行语义 ID 推荐器
📌 工作参考价值（4 点）
- 已有并行 SID 生成式召回/排序模型（如 RPG、AsymRec）只吃 hard label，可以低成本引入预训练 SASRec 之类的 item 级 teacher 做软标签蒸馏，线上推理不增加 teacher，只换训练目标。IDM 提 Recall，CMM 提 NDCG，可按业务指标侧重选择。
- 跨 space 投影实现简单：用固定 item-to-code 分配矩阵 M_h，正向 M_h 聚合 student 各 head logits 成 item 分数，反向 M_h^T 聚合 teacher item probs 成每个 code position 的 marginal，代码量小、可复用。
- 训练时注意 loss 尺度：hard label 和蒸馏 loss 梯度范数差异大，先用若干 batch 计算两者梯度 L2 范数比的中位数做系数校准，再加线性 ramp 逐步引入蒸馏，能避免训练初期的破坏性梯度。
- 若要同时拿召回和排序收益，建议分别训练 IDM 和 CMM 两个学生，线上做 score-level fusion（如 0.5/0.5），比 joint training 更稳；teacher temperature 用原始分布即可，不要提前做温度平滑或锐化。
并行草稿上下文校正用于投机解码
🧭 LLM 推理加速 · 投机解码
DCOCO通过并行上下文评分恢复并行草稿块内依赖，在多种解码设置下取得最高吞吐，最高6.6倍加速
📌 工作参考价值（4 点）
- 若在线上用 LLM 做搜索 query 生成、商品文案、Agent 对话等文本生成服务，可引入投机解码降低首 token 延迟，DCOCO 的并行上下文校正比顺序校正更适合高并发请求，实测 4–32 并发下提升 6–23%。
- DCOCO 在保留 drafter 并行性的前提下，通过轻量 scorer 恢复块内 token 依赖；类似思路可用于生成式推荐的 beam search / 候选生成，在保持并行推理的同时加入相邻候选的相容性打分，避免完全独立采样导致的低质量序列。
- 部署时要关注 drafter 与 verifier 的 KV cache 管理，DCOCO 的候选打分机制只增加很小开销，适合与 continuous batching / vLLM 等 serving 框架结合。
- 顺序校正（如逐个用上下文修正）在高并发下可能因为 kernel launch 开销反而退化，选择并行打分方案更稳。
重思生成式推荐语义ID：SimHash并行解码与语义对齐
🧭 生成式推荐 · Semantic ID ★ 深度解读
University of Illinois Chicago · Amazon
证明哈希语义ID性能差源于解码不匹配，提出FLASH框架：训练无关SimHash+并行解码+语义对齐达到SOTA
📌 工作参考价值（4 点）
- 大规模商品语义ID构建：直接用训练无关SimHash + 预计算LLM文本embedding，可避免维护和训练RQ-VAE/PQ量化器，构建成本极低（CPU<0.5s），且碰撞率在m>=32时很低，适合千万级商品库快速生成语义ID。
- 解码范式要匹配编码结构：如果使用SimHash/PQ等无序编码，务必用并行多token预测而非自回归，既消除结构偏置又支持更长ID提升容量；推理时缓存每个codebook的logits，候选打分只需O(Nm) gather-sum，避免枚举全部ID组合。
- 语义对齐是廉价且通用的增强：在推荐模型中加入一个线性投影层，用负余弦相似度对齐LLM embedding，可以在SASRec、TIGER等模型上稳定提升；对齐权重0.1-0.2为宜，过大可能压制推荐信号。
- 冷启动/新品场景：训练无关SimHash完全基于文本embedding，新品无需交互即可生成语义ID；结合语义对齐可进一步提升冷启动效果，适合电商新品/长尾商品推荐。
自适应循环扩散语言模型
🧭 扩散语言模型 · 自适应计算
University of Illinois Chicago · Amazon AGI · Korea University
按 token 难度分配计算，扩散语言模型在多个基准上超越同规模 AR 模型并保持并行解码
📌 工作参考价值（4 点）
- 难度自适应计算可迁移到生成式推荐/query生成：在并行生成 Semantic ID、搜索词或推送文案时，不同 token 的预测难度差异大，可借鉴 ALoDLM 按 token 置信度动态分配迭代次数，避免对简单位置做无谓计算。
- 离散提交 + 隐状态继续精修：对电商场景中的流式生成或交互式 Agent，可将已确定的 token 提前作为条件输入，只对高不确定性 token 保留隐状态继续推理，类似级联早退机制，能显著降低平均延迟。
- 计算调度作为隐变量联合训练：如果把 token 的“停止迭代”决策也作为可学习变量，并用 NELBO 与最终生成质量一起优化，可以在线上对推理预算和业务指标做端到端权衡，比人工固定迭代次数更优。
- 并行解码吞吐优势明显：在需要大批量生成商品标题、广告文案或搜索 suggestion 的场景，扩散式并行解码能提供比 AR 更高的吞吐，适合高 QPS 线上服务。
基于选择的结构化推理：迈向高效多模态搜索智能体
🧭 Agent推理效率优化·选择式结构化推理 ★ 深度解读
Apple · Carnegie Mellon University
将多模态搜索Agent的逐步推理从自由生成改为从候选库中并行选择，保持成功率且推理延迟降超90%
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 中，把每轮规划从自由生成改成路由选择：预先定义 5-10 条高频决策候选，如“澄清需求 / 生成搜索 query / 比价 / 读图识别 / 基于证据作答”，让模型按上下文似然打分选择，再用选中候选引导 action 解码。这样能保留自然语言 guidance 的效果，同时规避自回归推理的延迟不可控。
- 工程上可直接复用“并行 prefill 打分”的做法：对候选文本做 teacher-forced logprob 计算，共享历史 KV cache，不需要额外分类头或 SFT warm-up；用 SGLang 的 logprob_start_len + max_new_tokens=0 可实现。候选库可离线维护，p95 延迟比自由生成稳定得多，适合在线流量。
- 训练层面，若用 RL 训练 Agent，可把“规划/路由选择”当作 categorical action，动作 token 保持常规 importance ratio；用 GRPO 更稳，GSPO/SAPO 多步更新时 selector-gradient 近似会损失精度，业务上可采用更多 rollout 或一次更新。
- 候选设计要注意两点：不要只打分 index，要打分完整自然语言文本的语义；库规模从 1 到 6 带来看得见的提升，所以可以先用日志聚类/高绩效轨迹总结出高频意图，再逐步扩展到 6-10 条。
Flash-dLLM：IO感知KV缓存与并行解码加速扩散LLM
🧭 扩散LLM推理加速·KV cache
VILA Lab, MBZUAI
训练无关Flash-dLLM以IO感知融合KV cache和自草稿-验证解码，显著加速扩散LLM推理并省内存
📌 工作参考价值（4 点）
- 在 LLM 推理服务（如广告文案/搜索词生成）中，KV cache 的 HBM 读写常成为瓶颈；可借鉴 Flash-dLLM 的 IO-aware 融合 kernel，把多个注意力/cache 操作合并执行，减少冗余显存搬运，提升 batch/long-context 吞吐。
- 自草稿-验证（self draft-and-verify）不引入额外 drafter 模型，适合资源受限的 Agent/推荐系统：让主模型复用 KV cache 同时生成候选并按验证结果接受，降低延迟且不增加显存。
- 其并行解码与 KV-cache 驱动候选验证思路可迁移到批量生成场景，例如离线批量生成商品标题、query 改写或 push 文案；考虑非自回归或半自回归解码来扩大 batch size、缩短首 token 延迟。
- 面对 RAG 长文档或用户长序列，KV cache 显存与 I/O 受限时，可参考其对缓存复用和显存效率的优化策略，设计更紧凑的 cache 分层或融合模式。
dQwen3.5：混合注意力扩散语言模型
🧭 扩散语言模型适配 · 混合架构 ★ 深度解读
University of Texas at Austin
将因果 RNN 骨干保留、仅双向化注意力层，实现 AR 到扩散语言模型的高效适配，训练 token 减半且保持并行/任意顺序解码
📌 工作参考价值（4 点）
- 若业务已有 hybrid AR 生成模型（如 query 生成、商品文案、搜索词生成），可直接做 AR→DLM 适配：只把 attention 层的因果 mask 关掉，保留 RNN 因果，再按论文做 token shifting 和复用未用 token id 作为 mask/pad/BOS，无需新 embedding 或改架构，即可继承权重并得到并行/任意顺序解码能力。
- 训练预算上，扩散适配 50B tokens 通常够用，尤其大模型不要盲目拉到 100B；把下游指标（而非训练 loss）作为停止/选 checkpoint 依据，同时学习率按原始能力保留来选，防止灾难性遗忘。
- 线上低延迟生成可借鉴 block decoding（块大小 32）做半自回归：块内任意顺序并行，块间左到右，适合搜索建议、push 文案等需要部分结构化的场景；confidence threshold 在 2–16× NFE 加速下仍维持较好的 HumanEval 表现，可直接探索。
- 微调数据配比：初始 71% 领域代码不如 50% code + 35% general 混合，加入通用语料后 19/20 指标提升；对推荐/搜索生成模型的领域微调有同样启示——保留通用数据，且对代码/执行类数据可做可执行性验证过滤。
通过离散扩散实现 LLM 无损加速：扩散增强自回归模型
🧭 扩散增强 LLM 无损并行解码加速 ★ 深度解读
Institute of Foundation Models · University of Illinois Urbana-Champaign · Cornell Tech · Harvard University · Cerebras Systems
用 LoRA 扩散权重并行 draft + AR rejection 实现无损加速，8B Uno 在吞吐与质量上超过主流 d-LLM 与 speculative 方法
📌 工作参考价值（4 点）
- 可无损加速现有 LLM serving：为线上 AR 模型（如 Qwen/DeepSeek）添加 rank-128 LoRA diffusion adapter，训练只需几 B tokens（公开数据即可），不碰原始权重；与 EAGLE/DFlash 相比共享 KV cache 省显存，高并发 batch 下仍有 1.5× 以上吞吐，适合电商搜索/广告 agent 高并发调用。
- 借鉴 gated LoRA + block-causal attention 训练法：单次前向同时算 teacher/student logits，训练 context length 约 2×L，不随 block size 增大；L_TV loss 比 DCD 更直接地优化 speculative 接受长度，实际可优先选 α=0, β=1 或 L_TV 主导。
- 评估指标要区分 system throughput vs per-request throughput：batch=1 容易高估加速，业务中 agentic 多请求并发和 RL rollout 更应看重最大 batch 吞吐；可采用固定 1K input/8K output 的标准化吞吐测试。
- RL 训练加速：在 SFT 后冻结 diffusion adapter，RL 阶段只更新 AR 权重即可保留约 94% TPF，rollout 加速 40%；推荐/搜索模型若做大规模 RL 微调，可复用此方案缩短训练时间。
CForce：通过一致性强制提升扩散语言模型并行解码
🧭 dLLM 并行解码一致性蒸馏
Shanghai Jiao Tong University · Ant Group
提出 Consistency Forcing 蒸馏方法，用后期掩码预测监督早期预测，改善 dLLMs 高并行解码的质量
📌 工作参考价值（4 点）
- 低延迟生成场景可迁移：电商创意文案、商品标题、push 文案等对延迟敏感且可接受部分生成的场景，可以尝试用 dLLM 并行解码替代 AR 解码，并采用 CForce 蒸馏抑制早期掩码预测错误传播，在高并行预算下获得更好的速度-质量权衡。
- 蒸馏目标设计值得借鉴：Confidence Adaptive KL 动态结合前向 KL（模式覆盖）和反向 KL（模式坍缩），可在推荐模型蒸馏、策略蒸馏或 LLM 蒸馏中用于平衡学生模型输出的多样性与准确性，尤其适合标签软化的场景。
- 自回滚轨迹训练提升训练-推理一致性：业务中若使用迭代式生成（如多轮 Agent 交互、多次改写），可以收集模型自身推理轨迹，用后期步的高置信预测作为早期步的监督信号，缓解训练与推理分布不一致。
- edit-capable 解码的监督思路：后期 token-to-token 修正可反哺早期 masked-state 预测，对带修正/编辑能力的生成流程（如搜索词改写、推荐理由生成）有参考价值。
PaDoc：布局引导的并行解码文档解析
🧭 多模态文档解析 · 并行解码加速
Tsinghua University · Wechat Vision, Tencent
将文档布局建模为分支结构，通过前缀条件分解实现并行解码，将自回归深度缩减至最长分支，突破速度瓶颈
📌 工作参考价值（4 点）
- 生成式推荐需同时产多条文案/建议时，可借鉴分支并行解码：在共享用户/上下文表示上并发生成多序列，降低端到端延迟。
- 训练阶段使用打包变长祖先注意力（Packed Variable-Length Ancestor Attention）保持多分支可见性，该技巧可迁移到部分自回归多序列生成模型的训练。
- 推理部署上，借助 vLLM 共享前缀缓存和并发请求能力优化批量生成：重用长期兴趣等公共前缀，减少重复计算，提升吞吐并降低 P95 延迟。
- 电商详情页解析等离线图文理解任务，PaDoc 的并行解码可大幅提升单卡吞吐，适合大批量商品图片结构化处理，可集成至内容审核、智能排版等流程。
离散扩散模型：从分词到生成的统一框架
🧭 离散扩散模型的设计空间统一化
McGill University · Mila - Quebec AI Institute · MBZUAI · University of Cambridge · Salesforce
提出将离散扩散模型视为离散状态空间构建问题的统一框架，揭示设计权衡与未来方向
📌 工作参考价值（4 点）
- 离散扩散模型的并行生成特性可大幅降低推荐列表的推理延迟，适合对实时性要求高的搜索/推荐场景。
- 框架强调的状态空间设计（分词方案、词汇拓扑）直接影响生成质量：在生成式推荐中，物品ID的离散表示方式（如Semantic ID）可类比为“分词”，其设计应仔细考虑语义连续性与扩散过程中的噪声注入方式。
- 统一视角提示了训练目标与推理算法的多种组合（如转移矩阵、掩码状态），从业者可以在物品生成任务中尝试不同配置，以平衡生成多样性与保真度。
- 该框架对扩展性和系统优化的讨论，为大规模推荐系统下离散扩散模型的工程化提供了参考，如KV缓存、批处理策略等。
全模态密集视频描述并行自回归解码
🧭 多模态事件描述 · 并行解码
National University of Singapore
利用事件间弱局部依赖重构解码依赖图，实现无损并行生成，大幅提升密集视频描述效率与性能
📌 工作参考价值（4 点）
- 推荐系统生成序列化推荐理由或事件描述时，可将文本分解为相对独立的语义块（如商品卖点、活动节点），利用块间弱依赖并行解码，降低端到端生成延迟。
- 借鉴潜在全局规划模块的设计，在Agent多步推理中预先规划步骤间的因果依赖，对无依赖的推理步骤并行执行，提升复杂任务的处理效率。
- 事件因子化解码机制平衡局部连贯与全局感知的思路，可用于电商直播合辑、广告创意序列等需同时保持单条内容紧凑性和整体叙事流的场景。
- 依赖图动态重构方案可迁移到搜索建议生成、会话式推荐中，根据输入意图的独立性自动分组，实现部分并行以加速响应。
多块扩散语言模型
🧭 扩散语言模型 · 多块并行解码
Shanghai Jiao Tong University · Xi'an Jiao Tong University · Huawei
通过多块教师强制训练和块缓冲解码，将块扩散语言模型扩展至多块并行生成，实现近两倍加速且精度不降
📌 工作参考价值（4 点）
- 若在推荐系统中用扩散模型生成文案、推荐理由等长文本，可借鉴多块并行解码思路，将生成过程拆分为固定大小的噪声块组，提升并行度，降低推理延迟。
- 块缓冲（Block Buffer）机制通过保持 KV cache 静态形状和前缀复用，能直接迁移到在线 LLM 服务的缓存管理，减少显存波动，适合高并发场景。
- 多块教师强制（MultiTF）提供了一种低成本后训练方案：在已有 BD-LM 基础上，只需构造带噪声的连续块与干净前缀的混合训练数据，就可以让模型适配更高效的解码策略，适合快速迭代。
- 实验中的 TPF 指标可作为工程权衡的参考：在精度允许范围内（如 1% 准确率损失），可将每步生成令牌数提升近 3 倍，有利于在成本与效果间做配置化调优。